Ejercicio 1:

Utilizando los datos de ecobici_2010_2017 y MapReduce averigua ¿Cuántos registros hay por cicloestación?

Imágen del jps del clúster y map reduce exitoso

Jps:

Map reduce:

Imágen de localhost:8088 seleccionando la opción Nodes:

Imágen de localhost:8088 seleccionando la opción FINISHED para ver que los jobs corrieron existosamente:

Se muestran resultados:

Ejercicio 2:

Con los datos de vuelos retrasados en USA hacer un join del lado del mapper con flights, airports y airlines. Primero intenta una sola llave o flights o airports.

El join se hizo en 2 partes, la primera se unió flights con airlines utilizando los programas mapper2 y reducer2 que se agregan en la carpeta del ejercicio 2 y la segunda parte usó airports con el resultado del join anterior a través de mapper2_1 y reducer2_1.

Maper2 y Reducer2:

Mapper2:

Reducer2:

Mapper2_1 y Reducer2_1:

Mapper2_1:

Reducer2_1:

Con ambos obtenemos lo siguiente:

Jps y Map Reduce exitoso:

Jps:

Map reduce:

Localhost con nodes:

Localhost con finished:

Se muestran los resultados:

Adicionalmente, se anexa una muestra de la salida en el archivo output2.txt en la carpeta del ejercicio 2.

Ejercicio 3:

Con los datos de vuelos retrasados en USA hacer un join del lado del reducer con flights, airports y airlines. Primero intenta una sola llave o flights o airports.

Al igual que en el ejemplo anterior se hace el join en 2 pasos primero airlines con flights usando los programas mapper3.py y reducer3.py y luego con ese resulado unido a airports y se usan los programas mapper3_1 y reducer3_1.

Mapper3 y Reducer3

Mapper3:

Reducer3:

Mapper3_1 y Reducer3_1:

Mapper3_1:

Reducer3_1:

Jps y Map Reduce exitoso:

Jps:

Map reduce:

Localhost con nodes:

Locahost con finished:

Se muestran resultados:

Finalmente, se anexa una muestra de la salida en el archivo output3.txt en la carpeta del ejercicio 3.